In de geschiedenis van Blaasveld werd het kasteel Ten Berg al vernoemd in 1689. Oorspronkelijk bevond zich op deze plek een hoeve, die als achterleen toebehoorde aan de heerlijkheid Blaasveld. Later werd de hoeve uitgebreid tot een classicistisch kasteeltje, dat in 1789 eigendom werd van de familie Wouters de Jauche. Door de jaren heen onderging Ten Berg talrijke verbouwingen. Tijdens de Eerste Wereldoorlog werd het volledig verwoest.
In 1921 gaf burgemeester Ludovic Lefebvre-Wouters de Jauche opdracht tot de bouw van een nieuw kasteel in Vlaamse renaissancestijl, ontworpen door Cyrille van den Bergh. De familie Lefebvre- Wouters de Jauche speelde een prominente rol in het dorpsbestuur, zij leverde gedurende meer dan 125 jaar de burgemeester van Blaasveld.
In december 1982 werd het kasteel zwaar beschadigd door een brand. Nadien werd het heropgebouwd, aan de binnenzijde gemoderniseerd en heringericht als restaurant.